package tk.mybatis.springboot.spider;

/**
 * Created by xlp on 2018/1/20.
 */
public class Test {
//    public static void main(String[] args) {
//        // 只能执行一次，放到所有代码前面
//        IpPoolHolder.init(DungProxyContext.create().setPoolEnabled(true));
//        VSCrawler vsCrawler = VSCrawlerBuilder.create()
//                .setSlowStart(true)
//                .setCrawlerName("0000000000000IMOW0000000000000")
//                .setProcessor(new ProcessorTest())
//                .setIpPool(new DefaultIPPool())
//                .setProxyStrategy(ProxyStrategy.REQUEST)
////                .addPipeline(yPipeline)
//                .build();
//
//        // 清空历史爬取数据,或者会断点续爬
//        vsCrawler.clearTask();
//
//        vsCrawler.pushSeed("http://www.imow.cn/product/181694313233475.html");
//
//        // 开始爬虫
//        vsCrawler.start();
//    }
}
